1. Introduction
Dernière mise à jour : 08/02/2022
Pourquoi le streaming multicloud est-il nécessaire ?
Les entreprises cherchent activement à répartir leurs charges de travail sur plusieurs plates-formes cloud, car l'adoption de plusieurs fournisseurs de services cloud dans le workflow opérationnel d'une entreprise présente plusieurs avantages :
- Dépendance vis-à-vis d'un fournisseur
- Limiter les risques de continuité de l'activité
- Dépendances et dépendance à une pile technologique
Objectifs de l'atelier
Dans cet atelier de programmation, vous allez configurer un streaming de données multicloud entre AWS et GCP à l'aide de Confluent Cloud. Vous découvrirez comment :
- Configurez un cluster Kafka dédié dans Confluent Cloud sur GCP.
- Configurez un appairage de VPC entre Confluent Cloud et votre projet GCP afin qu'il soit accessible sur un réseau privé.
- Configurez un tunnel VPN entre votre projet AWS et votre projet GCP afin que les ressources des deux hyperscalers puissent se connecter.
- Accédez à Confluent Kafka depuis AWS et configurez un pipeline de streaming d'AWS vers GCP à l'aide de Confluent Kafka Cloud.
Points abordés
- Comment configurer l'appairage de réseaux VPC entre Confluent Cloud Kafka et votre projet GCP.
- Configurer un tunnel VPN entre des projets AWS et GCP
- Découvrez comment accéder à Confluent Cloud hébergé sur GCP depuis votre projet AWS.
Cet atelier de programmation est axé sur la création de flux de données multicloud. Les concepts et les blocs de codes non pertinents ne sont pas abordés, et vous sont fournis afin que vous puissiez simplement les copier et les coller.
Prérequis
- Accès au projet AWS.
- Accès au projet GCP.
- Expérience avec GCP et AWS Cloud.
- Abonnement Confluent Kafka depuis GCP Marketplace.
2. Configuration
Configurer la connexion VPN entre AWS et GCP
- Cette démonstration utilise le VPC par défaut (asia-southeast1) dans GCP et ng-vpc-103-mum (ap-south1) dans AWS.
- Sur AWS, créez la passerelle client et la passerelle réseau privé virtuel (VPG). Associez la passerelle réseau privé virtuel au VPC AWS.
- Créez la connexion VPN de site à site sur AWS.
- Téléchargez le fichier de configuration du tunnel créé dans AWS. Sélectionner
- Fournisseur : générique
- Plate-forme : générique
- Logiciel : indépendant du fournisseur
- Version IKE : Ikev2
- Créez la passerelle et le tunnel VPN sur GCP.
Fournissez l'adresse IP et la clé Ikev2 du fichier de configuration AWS téléchargé pour les deux tunnels.
- Une fois l'opération terminée, le tunnel doit être opérationnel sur AWS et GCP.
La configuration du tunnel est maintenant terminée.
- Sélectionnez un bloc CIDR qui sera utilisé pour configurer Confluent Cloud. Ajoutez-le au tunnel VPN en tant que route statique sur AWS.
Confluent Kafka sur GCP Marketplace
- Abonnez-vous à Confluent Kafka depuis GCP Marketplace.
- Se connecter à Confluent Cloud et créer un cluster dédié
- Indiquez l'ID du projet GCP ainsi que les détails du réseau VPC pour l'appairage.
- Effectuez l'appairage de VPC côté GCP avec les détails du réseau de cluster Confluent Cloud fournis.
- Le cluster Confluent Cloud est désormais actif et appairé avec GCP.
- Testez la connectivité au cluster Confluent depuis GCP.
- Provisionnez une instance GCE et installez Python 3.
- Générer la clé du client Python dans Confluent Cloud
- Exécutez le script de test "producer.py" à partir de l'instance GCP :
- Téléchargez maintenant l'exemple de code sur l'instance AWS et exécutez le script "producer.py" pour tester la connectivité hybride à Confluent Cloud depuis GCP.
3. Félicitations
Félicitations, vous avez créé votre plate-forme de streaming Confluent Kafka multicloud et multirégionale entre AWS et GCP.
Ateliers de programmation utiles**?**
Découvrez quelques-uns des ateliers de programmation...